商务统计学基础｜第三章 假设检验：不确定性与决策

点击上方"狗熊会"关注我们吧！

从本节开始，我们将开启一个全新且重要的内容：假设检验。作为一位有多年执教经验的老师，有一个很深的体会，那就是：假设检验不好教，很不好教！假设检验的整个思维方式，似乎跟普通人的思维方式非常不同。因此，学生们学习理解起来非常困难。事实上，我不是唯一一个碰到这个挑战的统计学老师。很多其他同仁也有类似的困惑。这不禁让我们深深思考：这是为什么？这个问题应该如何解决？传统的教学方式习惯于把假设检验问题看作一个严谨的数理统计学理论，并用严格的数学理论去理解它。显然，这种教学方式的优点是理论严谨，但缺点是教学效果并不令人满意，否则就不会有众多的老师感慨假设检验不好教，众多的学生感叹假设检验不好学。究其原因，也许是这种传统的教学方式忽略了假设检验背后朴素但深刻的统计学思想。通过对本章内容的深入学习，你会发现，其实假设检验的统计学思想很朴素，因为：事实上绝大多数普通人（不管是否学过统计学假设检验方法），都是这样思考问题并做出决策的；而统计学的主要贡献仅仅是把这种朴素的思想方法，用严格的数学工具给规范了出来。假设检验的统计学思想很深刻，因为：通过它的严格规范化，人们习以为常的决策规则可以获得一个全新的提高与优化。但是，很遗憾的是，纵观国内外的统计学教材，与假设检验相关的内容都是：关于数理统计学理论的讨论非常充实，但是关于这背后灼灼生辉的统计学思想讨论甚少。这是一个巨大的遗憾，而且副作用明显。一种具体的副作用就是：学生们感觉统计学假设检验的方法论太奇葩，不好懂，也没法用。因此，我们将在这里做一个大胆的尝试，即首先从假设检验的统计学思想入手，尝试通过非常充足的文字篇幅，用一个又一个案例小故事，把假设检验的统计学思想先讨论透彻。整个过程几乎不涉及任何数学理论。在充分理解统计学思想的前提下，再用严格的数理统计学理论予以规范化，希望这样能有助于大家更好地理解学习并掌握假设检验理论.对假设检验统计学思想的介绍从哪里开始呢？答：从不确定性开始，从带有不确定性的决策问题开始。关于不确定性，前面已经有了大量的讨论。本节将重点探讨每个案例中关注的“决策问题”是什么。纯粹从字面上来看，关于“决策问题”可能有多种解释。但是，本书所关注的“决策问题”是一类高度简化的决策问题，如果用一句话概括那就是：一个二选其一的决策问题。请注意，这里有几个要点。要点1：这是一个二选其一的问题，不能是三选其一，也不能是四选其二，只能是二选其一。要点2：这是一个决策问题。所谓决策问题就是：你必须从两个可能的选择中挑选一个，“不选择”或者“不决策”这个状态是不允许存在的。显然，这两个要点限制了我们的理论框架，因为现实世界中一定有多选其一的问题存在，也一定有“不选择”或者“不决策”这个状态存在的时候。但是，这些情况要么不是典型情形，要么可以通过一定数学变换，变成一个或者多个等价的二选其一的决策问题。因此，经典统计学理论所关注的假设检验问题一定是一个：二选其一的决策问题。接下来，为了能够跟大家很好地探讨这个问题，我们将对本书第一节“从不确定性出发”中的几个案例，从带有不确定性的决策问题的角度再重新讨论一下。案例1：恋爱。恋爱是绝大多数人都会经历的美好记忆。年轻人通过恋爱这个美好的过程尝试在芸芸众生中寻找那个唯一正确的人。在你的学习、工作、还有生活中，会有无穷多的机会接触到年龄相仿的异性，可能男生对女生有好感，也可能是女生对男生有好感。当年轻人面对恋爱机会的时候，无论是男生还是女生，都面临一个二选其一的决策问题：是否要与对方交往，并尝试通过交往获得进一步的了解和认识。那么能否不做选择呢？显然不可以，因为没有中间状态。当然，在现实生活中，有可能某一方出于礼貌的考虑跟对方说：我需要再考虑一下。但这其实就是婉拒，其实就是拒绝。当然，也可能双方都对彼此非常有好感，因此决定尝试交往一下，这种情况下皆大欢喜。由此可见，面对恋爱机会的时候，年轻人只有两个选择，必须二选其一，没有中间状态。请问如果是你应该如何决策？案例2：求职。职业选择的过程充满了各种各样的决策。上世纪父辈们求职时面对不同用人单位，需要做出的决策可能是：是否去物资局？是否去邮政局？是否去税务局？是否去银行？如今，年轻人们求职的过程中面临着更加丰富和多元的职业选择，需要做出的决策可能是：是否去互联网大厂？是否去国有企业？是否去外企？是否应该考公务员或是进入高校任教？面对如此丰富的可能性，求职者很容易陷入迷茫，是否能够不选择呢？显然不可以！因为无论你的决定是去A公司，B公司，C公司，还是不就业躺平，这都是选择。整个决策过程可以规范成一系列的二选其一的决策问题。例如，第一个决策问题可能是：要不要去A公司上班？只有两个选择：去或是不去，没有中间状态（请注意：兼职也是去上班）。同理，要不要去B公司上班是另一个二选其一的决策问题，而要不要去C公司上班还是一个二选其一的决策问题。如果对ABC三个决策问题的选择都是不去，那么最终你的选择是躺平不上班。当然对本案例而言，ABC三个决策问题并不互相独立。例如，你一旦选择去A公司全职上班，就不能去B公司全职上班。但无论怎样都改变不了问题的本质，那就是你将面临大量的二选其一的决策问题。请问如果是你应该如何决策？案例3：求学。求学是人生的重要经历，初中升高中、高中升大学、大学毕业申请研究生都是求学的关键节点。在国民受教育水平不断提升的当下，求学的过程更加受到关注。据教育部统计，2021年全国普通高考报名人数为1078万，而全国普通高校毕业生总规模达到909万，对每年成百上千万的学子而言，求学也是由一系列二选其一的决策问题组成的。例如对于一个学习统计学的本科生而言，本科毕业后选择就业还是读研是第一个二选其一的决策问题。如果决定读研，是应该读专硕（例如商业分析专硕）或者读博（例如统计学博士研究生）又是一个二选其一的决策问题。在申请研究生的过程中，是选择保研，还是选择参加全国研究生入学考试？如果选择了保研，是否要参加对应项目（例如北大光华商业分析专硕）的夏令营考核？这还是一些二选其一的决策问题。由此可见，整个求学过程充满了大量的二选其一的决策问题，每一个决策问题都必须二选其一，没有中间状态。请问如果是你应该如何决策？案例4：精准广告。精准广告是一种重要的广告方式。它通过对网民行为数据的深度分析，帮助广告主精准锁定目标用户，针对性地投放广告。一类典型的精准广告是DSP（Demand-Side Platform，需求方平台）广告。据相关研究机构统计，DSP广告在2017年的市场规模就达到了349.7亿元，占同年互联网广告总规模的10.0%。DSP广告的投放过程也是由一系列的二选其一的决策问题构成的。以移动端展示类广告为例，某用户正在打开今日头条APP，马上便会产生一个广告展示位。如果你是今日头条，你马上面临第一个二选其一的决策问题：要不要展示广告。如果选择了要展示广告，那么应该展示哪个品类的广告呢？是否选择母婴品类？是否选择运动品类？是否选择3C电子产品类？这又是一系列二选其一的决策问题。如果选择了展示运动品类的广告，那么应该展示哪个品牌呢？是否选择李宁？是否选择鸿星尔克？如果选择了李宁品牌，那么应该展示哪个具体产品？这都是一系列二选其一的决策问题。在精准广告的投放过程中充满了这样的二选其一的决策问题，没有中间状态，必须二选其一。请问如果是你应该如何决策？案例5：信贷风控。信贷作为一种历史悠久的业务，已经衍生出多种不同形式。早期的信贷可以简化为借钱和还钱的过程，而如今的互联网消费信贷包括贷款申请、授信审批和合同签订等更加复杂的过程。但不管形式如何变化，信贷总是由一系列二选其一的决策问题构成的。以蚂蚁花呗为例，这是2015年蚂蚁金服推出的一款线上消费信贷产品，已整合入支付宝平台。据支付宝官方统计，中国90 后中有近 38.2%的年轻人开通了蚂蚁花呗服务。假如你代表蚂蚁花呗平台，面对某位支付宝用户，你面临的第一个决策问题是：应不应该允许该用户开通花呗、进行借贷？这是一个二选其一的决策问题。如果选择了允许他开通花呗，那么应该给他多少初始借贷额度？1000元是否合适？2000元是否合适？这又是一系列二选其一的决策问题。一段时间后，是否邀请用户完善资料，以提升额度？如果邀请，应该收集用户的哪些资料？完善资料后是否通过提额申请？在临近还款期限时，是否推送催还款通知？是否发放临时额度？这都是一系列二选其一的决策问题。在信贷的过程中充满了这样的二选其一的决策问题，必须二选其一，没有中间状态。请问如果是你应该如何决策？案例6：电话销售。对很多行业而言，电话销售是带来销售业绩的一种重要方式。以人寿保险电话销售为例，据中国保险行业协会统计，2020年中国人寿保险电话销售行业的保费规模达到136亿元，该年的人寿保险电话销售人员达到6.4万人。这些电话销售人员每天面对的正是一系列的二选其一的决策问题。假设你是一位保险行业的电话销售员，对于销售线索池中的某条手机号，你面临的第一个问题就是：是否应该拨打？这就是一个二选其一的决策问题，没有中间状态。如果选择是，那么应该推荐哪类保险品种？是否推荐健康险？是否推荐意外险？这又是一系列二选其一的决策问题。如果选择推荐健康险？那么是否应该使用健康险话术A？是否应该使用健康险话术B？是否应该推荐一次购买一年？是否应该推荐一次购买两年？这都是一系列二选其一的决策问题。在电话销售的过程中充满了这样的二选其一的决策问题，没有中间状态，二者必须选其一。请问如果是你应该如何决策？案例7：新药上市。在人类历史上，药品是人类维持身体健康的物质基础，青霉素等抗生素药物更是拯救了无数生命。但各种未经考察的新药以及劣质药却可能对患者的健康产生严重的负面影响，因此每一款新药在上市前都必须经历严格的审批过程。国家食品药品监督管理局在2007年颁布了《药品注册管理办法》，其中规定，中国国产新药需经过临床实验申请与备案、药品注册申请、技术审评、样品生产现场检查、样品检验等过程，最终才能获得药品批准文号（即批准上市）。2021年NMPA（国家药品监督管理局）共批准了51款国产新药上市，这些新药上市的过程也是由一系列的二选其一的决策问题构成的。如果你代表国家食品药品监督管理局，对于某款申请注册的药品，你面临的第一个问题就是：是否应该受理申请？这就是一个二选其一的决策问题，没有中间状态。如果选择是，那么根据申请药品的类型和技术细节，应不应该进入优先审评审批程序？在进行技术审评的过程中，是否要求申请者补充临床实验资料？这又是一系列二选其一的决策问题。最终根据技术审评意见、样品生产现场检查报告和样品检验结果，应不应该发给药品批准文号（批准上市）？这还是二选其一的决策问题。在新药上市的审评过程中充满了这样的二选其一的决策问题，没有中间状态，二者必须选其一。请问如果是你应该如何决策？案例8：法官判案。庭审程序是现代法律体系的重要构成，是法官利用法律规则解决纠纷,实现公平正义的主要程序，也是民众参与诉讼活动的主要手段。庭审程序通俗来讲就是法官判案，其中包括了案件受理、庭前审查、庭前会议和审判等过程。据最高人民法院公布，2021年1月至11月15日全国法院共受理案件3051.7万件。在每一次案件审理的过程中，法官都面对一系列的二选其一的决策问题。例如有一天老王和老李产生了纠纷，老王声称老李诈骗了他的钱财，为此将老李告上法庭。假设你是一位法官，是否要受理这个民事案件？这就是一个二选其一的决策问题，没有中间状态。如果选择是，那么是否要召开庭前会议？在法庭调查环节里，面对被告人老李的举证，是否应该采信？这又是一系列二选其一的决策问题。如果被告人老李在庭审过程中反诉老王曾经借贷不还，你是否要将两起案件合并审理？在最终的评议和宣判环节中，作为法官，你还需要决定是否判决老李有罪。如果有罪，那么是否批准老王的诉讼请求（例如追回被骗财产并索要精神损失费1000元）？宣布判决时，是当庭宣判还是定期宣判？这还是一系列二选其一的决策问题。可见，在庭审的过程中充满了这样的二选其一的决策问题，没有中间状态，二者必须选其一。请问如果是你应该如何决策？案例9：编辑审稿。科技论文是科研成果的重要展现形式，也是世界各地的专家学者进行学术交流的桥梁。一篇科技论文的发表离不开主编、副主编，以及审稿人匿名评审的过程，对于大多数期刊而言，一篇论文从接收到发表一般需要经历主编与副主编初审、同行专家评议、返回修改和编辑最终决议等过程。据Web of Science数据库统计，2021年中国学者共发表了SCI（Science Citation Index，科学引文索引）论文57.1万篇。对于其中的每一篇论文，对应的期刊编辑都面临一系列二选其一的决策问题。假如你是某期刊的主编（Editor-in-Chief），面对投稿邮箱中的一篇论文，是否批准该论文通过初审、进入同行评议阶段？这就是一个二选其一的决策问题，没有中间状态。如果选择批准，那么应该把该论文分配给哪一位副主编（Associate Editor）处理？这又是一系列二选其一的决策问题。而副主编要决定选择哪几位审稿人进行评议。审稿人完成审稿后，根据审稿意见，是否直接拒收该论文？如果不拒绝，那么应不应该提出修改意见，联系作者返回修改？如果提出修改意见，应该进行大修还是小修？根据修改结果，主编最终还需要决定：是否接收该论文？这还是一系列二选其一的决策问题。在整个论文评审的过程中充满了这样的二选其一的决策问题，没有中间状态，二者必须选其一。请问如果是你应该如何决策？案例10：签证审批。签证是不同国家之间人员相互交流的产物，也是必要的入境凭证。对于广大的赴美留学生而言，美国F1签证是留学的必要材料。想要取得这类非移民签证需要在美国领事馆线上申请中心进行申请，并预约进行线下面谈。据美国驻华大使馆发布，2021年5月至8月大使馆共签发超过8.5万张F1签证。对其中的每一张签证，大使馆签证官都需要面临一系列二选其一的决策问题。假如你是美国大使馆的一位签证官，面对一位F1签证申请者，你需要通过不断的提问与追问，以此判断该申请者是否有移民倾向，从而决定是否通过他的签证申请。这就是一个二选其一的决策问题，没有中间状态。为了做出这样的判断，你需要从哪个角度进行提问？是否提问赴美意图？是否提问家庭背景？是否提问长期规划？这又是一系列二选其一的决策问题。如果先从家庭背景问起，应该提出哪些问题？是否询问父母职业？是否询问收入水平？是否询问政治身份？这还是一系列二选其一的决策问题。可见，在签证审批的过程中充满了这样的二选其一的决策问题，没有中间状态，二者必须选其一。请问如果是你应该如何决策？通过上面这些案例可以发现，二选其一的决策问题广泛存在于从恋爱、求学、求职到各种具体的场景中。可以说：人生中处处都是二选其一的决策问题。那么问题来了，在这些决策问题中应该如何选择？乍一想似乎很简单：选一个对自己最有利的就好了呗。但仔细思考你会发现，这其实很难。由于不确定性的存在，很难万无一失地选到那个最有利的选项，对此一定要有深刻的认识。为此，我们再继续讨论一下上述的十个案例。案例1：恋爱。假设女生在生活中遇到一个男生，男生向她表达了好感，并希望能够和她进一步交往。这时该女生面临一个二选一的决策问题：是否应该接受他的交往请求呢？应该如何考虑这一问题呢？基本原则很简单，那就是努力做出对自己最有利的那个选择。例如，如果这位男生确实和看上去一样优秀，在以往的相处过程中处处细致体贴，那么选择接受是更有利的选择。同时也需要考虑另一种可能性：这位男生金玉其外，实则败絮其中，性格暴躁，不务正业。如果是这样，那么选择拒绝可能是更有利的选择。所以何种选择对于决策者（该女生）更有利，取决于这位男生到底优不优秀，值不值得交往。但这一点充满了不确定性。尽管女生在之前的相处中已经对男生有了一定程度的了解，但这些信息是否可靠？是否足够全面？这些问题的答案都是不确定的，所以在这个二选其一的决策问题中充满了不确定性。案例2：求职。假设你正面临着职业选择的二选一问题：要不要进入某互联网大厂？应该如何考虑这一问题呢？看哪个选择对自己更加有利。如果这家互联网大厂优待员工，不用加班，福利良好，你所应聘的岗位富有创造力，不搞办公室政治，成长空间大，那么选择进入是更有利的选择。但同时也有另一种相反的可能性：给你提供职位的这个部门办公室政治斗争严重，天天加班，常常一周无休，你所应聘的岗位实际的工作非常机械化，职业上升路径狭窄。那么选择不进入是更有利的选择。所以何种选择更有利取决于这家公司这个部门的工作环境和成长机会到底如何，但这一点充满了不确定性。诚然，你可以通过与面试官交流或者查询网络来获取一些相关信息，但面试官传递的信息是否真实？网络上的信息是否值得信赖？在真正做出决定、踏进这家公司前，你面对着太多的未知数，所以在这个二选其一的决策问题中充满了不确定性。案例3：求学。对于一个统计学专业的本科生而言，假设他选择了读研，并决定申请北大光华商业分析硕士。那么接下来他将面临的是一个二选其一的决策问题：是否申请参加北大光华的夏令营考核。应该如何考虑这一问题呢？同样看哪个选择对自己更加有利。如果他对自己的实力估计准确，北大光华夏令营考核的难度又刚好匹配他的实力，面试当天天时地利人和，他将会顺利通过考核。那么毫无疑问申请是更有利的选择。但是也有可能实际情况是他的实力确实有待提高，北大光华夏令营考核的难度又很高，因此不可能通过考核，那么就不必浪费大量时间准备申请材料了。在这种情况下，不申请更有利。但问题在于：与其它申请者相比，自己的相对实力如何？夏令营考核的问题是否正好是自己的知识盲区？面试当天的状态是否最佳？这些都是不确定的，所以在这个二选其一的决策问题中充满了不确定性。案例4：精准广告。面对某用户打开今日头条APP产生的广告展示位，如果你是今日头条平台，你会面临一个二选其一的决策问题：要不要展示广告。应该如何考虑这一问题？看哪个选择对自己更加有利。如果这位用户正好愿意甚至有计划购买这一款广告产品，一旦展示广告，就很有可能被点击，甚至产生购买。那么此时推送广告更有利，因为这样会为平台带来收益。相反也可能该用户完全不是该广告产品的目标用户，甚至他可能已经被广告骚扰得心生愤怒了，此时推送广告不仅达不到营销效果，还可能引起用户反感，甚至卸载APP。那么此时不推送广告更有利。但用户对该广告的态度如何？有多大可能点击广告？对广告的容忍度如何？这些都是不确定的，所以在这个二选其一的决策问题中充满了不确定性。案例5：信贷风控。假如一名支付宝用户准备使用蚂蚁花呗服务，花呗平台面临一个二选其一的决策问题：要不要允许他开通蚂蚁花呗、进行借贷？如果你是蚂蚁花呗平台，应该如何考虑这一问题呢？看哪个选择对自己更加有利。如果该用户的还贷能力很强，他未来能如期归还本息，那么允许他开通更有利，因为这会为资金方带来利息收入。但是另一种可能是该用户面临严重的经济问题，未来难以如期归还本息，甚至该用户最初的打算也许就是不还钱。那么不允许他开通更有利，因为这样保护了资金方的本金。但用户未来的偿还能力如何？是否有意愿偿还？这些都是不确定的，甚至连用户本人都不确定自己的未来经济状况如何。所以在这个二选其一的决策问题中充满了不确定性。案例6：电话销售。对于电话销售人员而言，面对销售线索池中的某条手机号，他需要回答一个二选其一的决策问题：是否应该拨打该手机号。如果你是这名电话销售人员，你应该如何考虑这一问题？看哪个选择对自己更加有利。如果该手机号对应的客户正好对公司产品感兴趣，或者至少对接听推销电话不反感，愿意听电销人员描述产品甚至最终购买，那么选择拨打电话更有利，因为这样能产生销售收入。另一种可能性是，该客户对公司产品完全不感兴趣，对接到电销电话十分反感，那么就没必要再打电话浪费时间了，选择不拨打更有利，因为这样节省了你宝贵的时间。但是客户是否对公司产品感兴趣？对接到推销电话的容忍度如何？这些都是不确定的，因此在这个二选其一的决策问题中充满了不确定性。案例7：新药上市。面对某款申请注册的药品，在经过了临床实验、技术审评、样品生产现场检查、样品检验等过程后，国家食品药品监督管理局需要回答一个二选其一的决策问题：应不应该发给药品批准文号（批准上市）？如果是你应该如何考虑这一问题？看哪个选择对社会更加有利。如果该款新药满足必要的安全性和有效性，那么选择批准上市更有利，因为这样能为更多患者带来福音。但也有可能该款新药不满足必要的安全性，有效性也不符合要求，在批准上市后药品生产质量低。那么选择不批准上市更有利，因为这样保护了无辜的患者。但该药品是否安全？是否有效？在没有足够数据支持的情况下是非常不确定的。即使经过了三期临床实验，但是否存在没有被发现过的不良反应？试验中估计的药物有效性又是否被高估？即使通过了生产现场检查，但未来生产工艺是否能维持？样品检验中的结果是否被高估？这些都是不确定的，因此在这个二选其一的决策问题中充满了不确定性。案例8：法官判案。对于老王和老李的纠纷，假设法院受理了这一案件，在庭审现场经过了法庭调查和法庭辩论等多个环节后，法官需要回答一个二选其一的决策问题：是否判决老李有罪？如果你是法官，该如何考虑这一问题呢？看哪个选择对司法公正更加有利。如果老李事实上并没有诈骗老王，这仅仅是一场误会，那么当然判决老李无罪更有利，因为这样避免了冤枉好人。然而另一种可能性是老李确实诈骗了老王，法庭上老李的辩解都是谎话，那么判处老李犯了诈骗罪更有利，因为这样才能惩罚坏蛋。在缺乏有效证据的情况下，真实情况到底如何？这具有很大的不确定性。因此在这个二选其一的决策问题中充满了不确定性。案例9：编辑审稿。对于一篇正在投稿的科技论文，假设已经进行了编辑初审、同行审查和返回修改等过程，接下来编辑需要回答一个二选其一的决策问题：是否接收该论文？如果是你该如何考虑这一问题呢？看哪个选择对期刊的学术声誉更加有利。如果该论文确实优秀，文中进行的实验严谨、真实且可复现，对学术界产生的意义深远，那么当然接收该论文更有利，因为这样才能让更多学者关注到最新的研究成果，也有利于进一步提升该期刊的学术声誉。然而也存在另一种可能性：该论文实际上存在漏洞，实验数据伪造，结果图片经过了PS处理，那么更有利的选择是拒收该论文，这样就避免了误导其他学者，也保护了期刊的学术声誉。但是论文描述的实验流程是否真实？数据是否伪造？结果是否可复现？论文在科学界的意义是否深远？这些问题都是不确定的。因此在这个二选其一的决策问题中充满了不确定性。案例10：签证审批。面对一位即将赴美留学的中国学生，假设他已经通过了网上申请，预约了线下面签，接下来大使馆签证官需要通过面试回答一个二选其一的决策问题：是否通过他的签证申请？这意味着签证官需要判定：申请人是否具有移民倾向？如果你是签证官，该如何考虑这一问题呢？看哪个选择对签证国更加有利。如果申请人确实只是单纯的赴美留学，将来并不打算也不会留在美国成为非法移民，那么通过签证申请更有利于两国正常的学术交流。但如果申请人的计划就是借此机会非法移民美国，留学只是一个幌子。那么不通过签证申请更有利，这样能降低非法移民的风险。但仅凭十几分钟的问答又怎能完全猜透申请人的意图？这其中包含着很大的不确定性。甚至就连申请者本人可能都无法预料几年后的境遇和选择，因此在这个二选其一的决策问题中充满了不确定性。通过上面的案例讨论可以发现，人生时时处处都会面临带有强烈不确定性的决策问题。此类问题有两大特点：第一，必须二选其一，没有中间状态；第二，面临极大的不确定性。那么对于这些带有不确定性的决策问题，应该怎样决策呢？我们将在下一节中继续讨论。- END -

京东购书



当当购书


往期推荐